Harness²:开放世界中的递归 Agent 驾驭框架
🧭 Agent harness 递归自改进 ★ 深度解读
Northwestern University · Google Cloud AI Research
提出 Harness²,通过对比性 Propose-Probe-Compose 与经验库更新,在无 ground-truth 的开放世界中持续改进 agent harness。
📌 工作参考价值(4 点)
- 将推荐/搜索 agent 的运行时组件(prompt、工具说明、技能、子代理、中间件)显式文件化,支持在线编辑和版本管理,比黑盒 prompt 更容易自动优化。
- 在没有 ground-truth 的在线场景(如 query 推荐、文案生成质量难以标注),采用 Propose-Probe-Compose 的行为对比方法:让候选 harness 与当前 harness 执行同一任务,对比轨迹和输出差异作为编辑证据,避免依赖不可靠的奖励模型。
- 建立跨任务的经验库(harness improvement library),存储成功的 harness 组件和适用条件,支持新任务时按需检索和复用,避免每次从零调优;类似电商场景中不同品类/活动下的 agent 配置可以复用。
- 将 harness 优化与模型解耦,冻结模型权重,只优化外围组件,降低成本并便于快速迭代;弱模型配合优化后的 harness 可以超过强模型默认 harness。
MATE:LLM 推荐中的自适应长短期用户记忆
🧭 LLM 增强序列推荐 · 自适应用户记忆 ★ 深度解读
Yonsei University
提出 MATE,用时间证据控制长短期记忆写入,在线只更新用户记忆,在 LLM 增强序列推荐中提升 NDCG@10 7.0–13.2%
📌 工作参考价值(4 点)
- 用户建模可显式拆成长期/短期两个用户级矩阵记忆,长期更新保守、短期快速响应;在线只更新这两个矩阵,共享模型固定,单事件额外开销仅 1.25–1.32ms,存储 1MiB/user,适合实时推荐系统。
- 时间证据计算很实用:长期证据要求相似行为出现在至少两个不同日历月且跨时超过 30 天,避免短时突发被误判为长期偏好;短期证据给最小写入强度(epsilon=0.2),让新出现的兴趣也能进入短期记忆。
- 读取时用近期交互的衰减加权表示做门控,得到独立的 alpha_L、alpha_S,不做归一化,允许同时强调或抑制两个记忆,比固定权重融合更灵活。
- 使用冻结 LLM embedding(qwen3-embedding:4b)作为 item 语义,避免微调大模型,可直接替换现有 ID embedding,适合电商商品文本丰富的场景。
通过执行反馈学习可泛化的测试时自适应 Harness 修订
🧭 Agent harness 自适应与元学习 ★ 深度解读
Carnegie Mellon University · Johns Hopkins University
训练一个 proposer 用执行反馈修订 frozen solver 的 harness,实现无需参数更新的测试时自适应与跨任务泛化
📌 工作参考价值(4 点)
- 在电商/Agent 工作流里,可把「query 改写、检索重排、工具调用、结果校验」等串成可执行 harness,用一个较小的 proposer 模型(4B 足够)只改 harness 代码、不改主模型参数,测试时用业务反馈迭代修订,降低大模型频繁微调成本。
- 训练 proposer 时,反馈问题和打分问题要拆开:反馈用于构造下次 revision 的 execution report,打分用于 RL reward,避免 reward hacking;GRPO 的 reward 建议加上 edit validity 和可执行性 bonus,能明显降低无效 proposal 比例。
- 测试时不要只做 one-shot 修订:用 small proposal budget 做多轮 sequential revision,每轮基于 development score 保留当前最优 harness;论文在 QA 场景里 10 轮总预算 80 次 proposal 能超过独立 80 次 proposal 的 oracle best,适合在线 A/B 式自适应。
- 对多跳检索/问答类 pipeline,可学习让 harness 把「用于生成下一跳 query 的摘要」和「最终 answer 的证据」分离:query 生成用摘要,answer 直接读原始 passage,这种结构在跨域 QA 上更稳。
交互式记忆学习用于长期对话
🧭 多智能体协作记忆优化 ★ 深度解读
Harbin Institute of Technology, Shenzhen · Pengcheng Laboratory, China
提出 ICML 多智能体在线强化学习框架,Planner 与 Trigger 通过跨会话延迟奖励共同进化,实现记忆策略自演进
📌 工作参考价值(4 点)
- 将记忆写入(Planner)和记忆召回(Trigger)拆成两个可学习策略,用 PPO 在线更新,适合客服/导购等用户偏好频繁变化场景;Planner 过滤噪音控制上下文长度,Trigger 按当前 query 选择记忆。
- 跨会话延迟奖励机制:把未来响应质量反传回当初的存储决策,解决记忆价值滞后问题,可迁移到电商中用户长期反馈对画像写入策略的反哺。
- 用 Retrospective Session Synthesis 反向生成一致故事线并标注记忆依赖,做冷启动专家数据,可借鉴为合成用户会话数据训练记忆策略,缓解在线 RL 稀疏奖励。
- 实现 plug-and-play,不改闭源 LLM 权重,仅训练小模型策略,构造延迟约 63ms、检索约 13ms,对已有线上 LLM 对话系统做记忆增强成本低。
通过人机交互进行高效测试时自适应
🧭 Agent 个性化与测试时自适应
Carnegie Mellon University · University of Washington · Handshake AI · Stanford University · Princeton University
利用跨会话人机交互信号在测试时适配个体 Agent,写作与视觉创作任务成功率提升 4.5–20.9%,演化 rubric 可多捕获 16–22.3% 失败
📌 工作参考价值(4 点)
- 用跨会话交互数据做在线个性化:电商对话式导购/客服 Agent 可维护用户历史反馈,在推理时动态注入 context 或更新轻量权重,实现低成本的个性化,尤其适合长尾用户。
- 演化 rubric 模块可作为偏好对齐工具:将用户对推荐解释、商品描述、广告文案的反复反馈提炼为可进化的评价标准,既可作为奖励/过滤信号,也可用于自动标注失败案例,减少人工评审成本;论文显示比单用 LM 或人工能多捕获 16-22% 失败。
- 个性化策略具备跨用户迁移能力:即使目标是个人化,TAHI 训练的个性化策略也能提升其他用户最高 8.8%,提示可构建共享的“个性化底座”,通过少量交互迁移到新用户,缓解冷启动。
- 在生成式推荐场景,可将用户反复指出的标准显式化为 rubric 并注入 prompt 或评分器,实现可解释的偏好对齐与可控生成。
视频模型的视觉提示工程
🧭 视觉提示工程提升视频模型推理
Google DeepMind
自动修改任务图像(视觉提示)可显著提升视频模型推理性能,超过文本提示和测试时扩展
📌 工作参考价值(4 点)
- 商品图像预处理增强理解:借鉴 VIPE,对电商商品主图进行自动风格化(如光影优化、背景真实化),可提升多模态模型在属性抽取、类目识别上的准确率,无需重训模型。
- 测试时输入优化:在不改变模型权重的前提下,仅通过调用图像编辑API在推理前重绘输入,即可低成本提升下游效果,适合广告创意优选、直播封面自适应等场景。
- 视觉 Agent 的输入增强:在多模态 Agent 中,对采集到的画面做轻量预处理(去模糊、风格迁移)可提高后续推理决策的可靠性,作为 Agent 感知流水线的一个即插即用组件。
- 计算高效性:相比文本提示工程或多次采样,VIPE 仅增加一次图像编辑开销,是计算资源友好的提效手段,适合线上实时服务。